自动睡眠评分对于诊断和治疗睡眠障碍至关重要,并在家庭环境中实现纵向睡眠跟踪。通常,对单渠道脑电图(EEG)进行基于学习的自动睡眠评分是积极研究的,因为困难在睡眠过程中获得多通道信号。但是,由于以下问题,来自原始脑电图信号的学习表示形式挑战:1)与睡眠相关的脑电图模式发生在不同的时间和频率尺度上,2)睡眠阶段共享相似的脑电图模式。为了解决这些问题,我们提出了一个名为Sleepyco的深度学习框架,该框架结合了1)功能金字塔和2)自动睡眠评分的监督对比度学习。对于特征金字塔,我们提出了一个名为sleepyco-backbone的骨干网络,以考虑在不同的时间和频率尺度上的多个特征序列。监督的对比学习允许网络通过最大程度地降低类内部特征之间的距离并同时最大程度地提高阶层间特征之间的距离来提取类别特征。对四个公共数据集的比较分析表明,Sleepyco始终优于基于单渠道EEG的现有框架。广泛的消融实验表明,Sleepyco表现出增强的总体表现,N1和快速眼运动(REM)阶段之间的歧视有了显着改善。
translated by 谷歌翻译
Cartoonization is a task that renders natural photos into cartoon styles. Previous deep cartoonization methods only have focused on end-to-end translation, which may hinder editability. Instead, we propose a novel solution with editing features of texture and color based on the cartoon creation process. To do that, we design a model architecture to have separate decoders, texture and color, to decouple these attributes. In the texture decoder, we propose a texture controller, which enables a user to control stroke style and abstraction to generate diverse cartoon textures. We also introduce an HSV color augmentation to induce the networks to generate diverse and controllable color translation. To the best of our knowledge, our work is the first deep approach to control the cartoonization at inference while showing profound quality improvement over to baselines.
translated by 谷歌翻译
Detection Transformer (DETR) directly transforms queries to unique objects by using one-to-one bipartite matching during training and enables end-to-end object detection. Recently, these models have surpassed traditional detectors on COCO with undeniable elegance. However, they differ from traditional detectors in multiple designs, including model architecture and training schedules, and thus the effectiveness of one-to-one matching is not fully understood. In this work, we conduct a strict comparison between the one-to-one Hungarian matching in DETRs and the one-to-many label assignments in traditional detectors with non-maximum supervision (NMS). Surprisingly, we observe one-to-many assignments with NMS consistently outperform standard one-to-one matching under the same setting, with a significant gain of up to 2.5 mAP. Our detector that trains Deformable-DETR with traditional IoU-based label assignment achieved 50.2 COCO mAP within 12 epochs (1x schedule) with ResNet50 backbone, outperforming all existing traditional or transformer-based detectors in this setting. On multiple datasets, schedules, and architectures, we consistently show bipartite matching is unnecessary for performant detection transformers. Furthermore, we attribute the success of detection transformers to their expressive transformer architecture. Code is available at https://github.com/jozhang97/DETA.
translated by 谷歌翻译
在可解释的机器学习中,当地的事后解释算法和固有的可解释模型通常被视为竞争方法。在这项工作中,提供了有关Shapley Values的新颖观点,即Shapley Values,这是一种突出的事后解释技术,并表明它与玻璃盒 - 玻璃盒 - gams密切相关,Glassbox-Gam是一种流行的可解释模型。我们介绍了$ n $ -Shapley值,这是Shapley值的自然扩展,该值解释了具有交互条款的个人预测,直到$ n $。随着$ n $的增加,$ n $ shapley的值会收敛于Shapley-Gam,这是原始功能的独特确定分解。从Shapley-GAM中,我们可以计算出任意秩序的Shapley值,从而确切的见解对这些解释的局限性。然后,我们证明Shapley值恢复了订单$ n $的通用添加剂模型,假设我们允许交互条款在解释中订购$ n $。这意味着原始的Shapley值恢复了玻璃盒煤气。在技​​术端,我们表明,选择值函数的不同方式与原始函数的不同功能分解之间存在一对一的对应关系。这为如何选择值函数的问题提供了一个新的观点。我们还对各种标准分类器中存在的可变相互作用程度进行了经验分析,并讨论了我们结果对算法解释的含义。一个用于计算$ n $ shapley值的Python软件包,并在本文中复制结果,请访问\ url {https://github.com/tml-tuebingen/nshap}。
translated by 谷歌翻译
从先前收集的专家数据数据集中学习提供了有望在没有不安全和昂贵的在线探索的情况下获取机器人政策。但是,一个主要的挑战是培训数据集中的各州与在测试时学到的政策访问的国家之间的分配转移。尽管先前的工作主要研究了在离线培训期间政策引起的分配变化,但研究在部署时间从分布状态恢复的问题还不是很好。我们通过引入一项恢复政策来减轻部署时间的分配转变,该恢复政策将代理人带回培训歧管,每当由于外部扰动而逐渐退出分布状态,例如。恢复策略依赖于训练数据密度的近似值和学习的模棱两可的映射,该映射将视觉观测映射到一个潜在空间中,在该空间中,翻译与机器人动作相对应。我们通过在真正的机器人平台上进行了几个操纵实验来证明所提出的方法的有效性。我们的结果表明,恢复策略使代理可以完成任务,而行为克隆仅由于分配转移问题而失败。
translated by 谷歌翻译
机器学习模型,尤其是人工神经网络,越来越多地用于为在各个领域的高风险场景中(从金融服务,公共安全和医疗保健服务)提供信息。尽管神经网络在许多情况下都取得了出色的性能,但它们的复杂性质引起了人们对现实情况下的可靠性,可信赖性和公平性的关注。结果,已经提出了几种A-tostori解释方法来突出影响模型预测的特征。值得注意的是,Shapley的价值 - 一种满足几种理想特性的游戏理论数量 - 在机器学习解释性文献中获得了知名度。然而,更传统上,在统计学习中的特征是通过有条件独立性正式化的,而对其进行测试的标准方法是通过有条件的随机测试(CRT)。到目前为止,有关解释性和特征重要性的这两个观点已被认为是独特的和独立的。在这项工作中,我们表明基于沙普利的解释方法和针对特征重要性的有条件独立性测试密切相关。更确切地说,我们证明,通过类似于CRT的程序实现了一组特定的条件独立性测试,评估了Shapley系数量,以执行特定的条件独立性测试,但用于不同的零假设。此外,获得的游戏理论值上限限制了此类测试的$ p $值。结果,我们授予大型Shapley系数具有精确的统计意义,并具有控制I型错误。
translated by 谷歌翻译
测试时间适应利用测试输入,以提高对源数据进行训练的模型的准确性,这些模型在转移的目标数据上进行了测试。现有方法通过(重新)对每个目标域进行培训来更新源模型。虽然有效,但重新训练对数据的数量和顺序和优化的超参数敏感。相反,我们通过使用生成扩散模型将所有测试输入投影到源域来更新目标数据。我们的扩散驱动的适应方法DDA共享其在所有领域的分类和生成模型。两种模型均在源域上训练,然后在测试过程中固定。我们通过图像指导和自我缩放来自动决定适应多少。 DDA的输入适应比在Imagenet-C基准上的各种损坏,体系结构和数据制度中的先前模型适应方法更强大。借助其输入更新,DDA成功了,在小批次中的数据中,模型适应性降低了,以较少的数据降低,以非统一顺序或具有多个损坏的混合数据降低。
translated by 谷歌翻译
我们研究了与任何已经训练的分类器兼容的简单方法(OOD)图像检测,仅依靠其预测或学会的表示。当使用Resnet-50和Swin Transformer模型使用时,评估各种方法的OOD检测性能,我们找到了仅考虑学会表示的模型预测的方法,可以轻松地胜过模型的预测。基于我们的分析,我们主张在其他研究中忽略了一种死去的方法:仅作为OOD图像标记,其平均距离与他们最近的邻居的平均距离很大(在图像分类器的表示空间中,经过训练的图像分类器的空间分销数据)。
translated by 谷歌翻译
本文解决了人类运动预测的问题,包括预测未来的身体从历史上观察到的序列构成的构成。尽管其性能,但当前的最新方法依赖于任意复杂性的深度学习体系结构,例如经常性神经网络〜(RNN),变压器或图形卷积网络〜(GCN),通常需要多个培训阶段,等等。超过300万参数。在本文中,我们表明,这些方法的性能可以通过轻巧且纯粹的MLP体系结构超越,并且与几种标准实践(例如用离散的余弦变换代表身体姿势(DCT))相结合时,只有0.14亿个参数,预测关节的残留位移和优化速度作为辅助损失。对人类360万的详尽评估,Amass和3DPW数据集表明,我们的方法(我们将其配置为Simlpe)始终优于所有其他方法。我们希望我们的简单方法可以为社区提供强大的基准,并允许重新考虑人类运动预测的问题,以及当前的基准是否确实需要复杂的建筑设计。我们的代码可在\ url {https://github.com/dulucas/simlpe}上获得。
translated by 谷歌翻译
联合学习(FL)是一个杰出的框架,可以通过融合本地,分散的模型来确保用户隐私来培训集中式模型。在这种情况下,一个主要障碍是数据异质性,即每个客户具有非相同和独立分布(非IID)数据。这类似于域概括(DG)的上下文,在该上下文中,每个客户端都可以视为不同的域。但是,尽管DG中的许多方法从算法的角度来解决数据异质性,但最近的证据表明,数据增强可以诱导相等或更高的性能。在这种连接的激励下,我们介绍了受欢迎的DG算法的联合版本,并表明,通过应用适当的数据增强,我们可以在联合环境中减轻数据异质性,并为看不见的客户获得更高的准确性。配备了数据增强功能,我们甚至可以使用最基本的联邦平均算法实现最先进的性能,并具有更稀疏的沟通。
translated by 谷歌翻译